通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本,可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。
前提条件
已完成数据源配置。您需要在配置集成任务前,配置好您需要集成的数据源和目标数据库,以便在配置离线单条管道过程中,为您的开发组件选择数据源来控制集成任务的读取和写入数据库。离线管道支持的数据源详情请参见:数据集成支持的数据源。
步骤一:创建离线单条管道
在Dataphin首页,单击顶部菜单栏的研发。默认进入数据开发页面。
按照下图操作指引,进入创建管道开发脚本对话框。
在创建管道开发脚本对话框中,配置管道相关参数。
参数
描述
管道名称
填写管道名称。
命名规则:支持最长64个字符,不支持以下特殊字符:
|\/:?<>*"
。调度类型
选择管道的调度类型。调度类型包括:
周期性节点:指需定期执行的任务。
手动节点:指没有依赖关系,需手动触发的任务。
描述
填写对离线单条管道的简单描述。
选择目录
默认选择为离线管道。同时您也可以在离开管道页面创建目标文件夹后,选择该目标文件夹为离线管道任务的目录。
单击确定。
步骤二:开发离线管道脚本
离线单条管道采用可视化组件的开发方式,您可通过单击画布侧边栏组件库,选择所需组件类型后拖拽组件到管道开发画布中,开发管道脚本。如下图所示:
组件类型:组件库分为5种组件类型,包括输入、转换、流程、输出、自定义。各组件类型使用场景各不相同,您可根据业务需求选择所需组件类型进行开发。更多信息,请参见集成组件库开发说明。
组件:开发管道脚本的功能模块,各组件对应不同的功能。您可根据组件配置说明。和业务需求选择所需组件进行开发。
步骤三:管道调度配置
单击开发画布菜单栏按钮,进行调度配置。
在调度配置页面,配置集成管道的基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下:
基本信息:通过集成管道基本信息,您可以配置集成管道任务的开发负责人、运维负责人及描述。详细说明,请参见:配置离线集成管道基本信息。
调度配置:对于周期性节点,调度配置用于定义集成管道任务在生产环境的调度方式。您可以通过调度属性,配置集成管道任务的调度类型、调度周期、调度逻辑与执行等。详细说明,请参见:配置离线管道调度。
调度依赖:对于周期性节点,调度依赖用于定义集成管道任务在调度任务中的依赖节点。Dataphin通过各个节点的调度依赖的配置结果,有序地运行业务流程中各个节点,保障业务数据有效、适时地产出。详细说明,请参见:配置离线管道调度依赖。
运行配置:您可根据业务场景为该集成管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略,杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。详情说明,请参见:离线管道任务运行配置。
步骤四:保存并提交离线集成任务
单击画布上方的图标,保存管道任务。
单击画布上方的图标,在提交备注对话框,填写备注信息后,单击确定并提交。
说明确认并提交离线集成任务后,系统将自动检查提交的离线集成任务,检查项包括配置检查、权限检查、 表重复性检查。
配置检查:包括管道检查和组件检查,检查配置项完整性。
权限检查:包括检查数据源、表、及字段的权限;密钥使用权限;质量规则发布权限。
表重复性检查:包括检查管道中的来源表是否在已提交或已发布的任务中已作为来源表,以及管道中的目标表是否在已提交或已发布的任务中已作为目标表。
若提交的集成任务中,存在以上检查项的告警或错误信息。建议您根据提示信息解决告警或错误后,再进行提交。
系统在任务提交时,解析开发环境的表和字段血缘关系;发布时,解析生产环境的表和字段血缘关系。单个任务提交或发布时支持解析不超过10万条血缘关系,超过则不予记录,在资产目录中无法展示。